\documentclass{ctexart}
\usepackage{amsmath}
\usepackage{amsfonts}
% \allowdisplaybreaks[4]

\newcommand{\Likeli}{P(\olx \mid \theta )}
\newcommand{\olx}{\overline{x}}
\begin{document}
    E-M(Exceptation Maximization)算法是一个使用非常广泛的算法, 
    经常用在混合模型上,也可以用在其他模型上,但是在 
    \textbf{高斯混合模型}上用的非常广泛. 

    \section{Bayes分析}

    \subsection{Bayes基础}
    我们先假设一系列数据服从某个分布, 即: 
    $X \sim \Likeli$. 
    $\theta$可以认为是真实情况下产生这一系列数据的机制, 我们称
    $\Likeli$ 为相似度(Likelihood), 即模型与实际机制的相似度.
    我们从$\Likeli$中独立同分布的抽取一些样本. 如果每一次抽取
    数据的规律都一致, 那么$\Likeli$一定是最大的. 也就是说, 如果
    我们想得到一个最接近实际情况的模型, 就要使得Likelihood最大化, 
    这称为\textbf{Maximum Likelihood(ML)}. 也可以是最大化
    Posterior, 因为Posterior的含义就是在已知当前的数据情况下, 是
    $\theta$这个模型的概率. 最大化Posterior称为\textbf{Maximum a Posterior(MAP)}. 

    \subsection{Bayes公式}
    Bayes公式\eqref{Bayes}, 其含义为Posterior Probability
    正比于Likelihood和Prior Probability的乘积. 
    \begin{figure}[htbp]
        \centering
        \begin{equation}
            \overbrace{P(\theta \mid x)}^{Posterior} 
            \propto \underbrace{P(x\mid \theta)}_{Likelihood}
            \cdot \overbrace{P(\theta)}^{Prior}
            \label{Bayes}
        \end{equation}
    \end{figure}

    \section{GMM(Gassian Mixture Model)}
    在一般的情况下, 有一堆数据, 这一堆数据一定是一个或者多个
    随机过程产生的. 如果用一个数学模型来模拟该随机过程, 有可
    能是一个高斯模型, 也有可能是多个高斯模型叠加导致产生的这
    些数据. 这些多个高斯模型叠加的情况就称为
    \textbf{高斯混合模型(GMM(Gassian Mixture Model))}.
    
    \subsection{ML(Maximum Likelihood)}
    $\olx=\{x_1, x_2, \dots, x_n\}$ 是独立同分布
    从$P(X\mid \theta)$取出来的, 即
    $x_i \stackrel{iid}{\sim} P(X\mid \theta)$. 
    因此如式\eqref{lfunction}所示. 
    \begin{figure}[htbp]
        \begin{equation}
            \mathcal{L}(\theta \mid \overline{x}) =
            \prod^N_{i=1} P(x_i \mid \theta)
            \label{lfunction}
        \end{equation}
    \end{figure}
    函数$\mathcal{L}(\theta \mid \olx)$的参数是$\theta$, 
    并且会随着$\olx$的变化而变化. 如果要使得$\theta$最大化, 
    就要使得
    $\frac{\partial \mathcal{L}(\theta \mid \olx)}
    {\partial \theta}$
    等于零, 此时的$\theta$取值可以使得
    Likelihood最大化. 函数
    $\mathcal{L}(\theta \mid  \olx)$
    就是Likelihood取对数后的形式.
    \eqref{loglikelihood}
    \begin{figure}[htbp]
        \begin{align}
            \mathcal{L}(\theta \mid  \olx ) &= 
            \text{log}[P(\olx \mid \theta)]\\
            &= \sum^N_{i=1} \text{log}[P(x_i \mid  \theta)]
            \label{loglikelihood}
        \end{align}
    \end{figure}
    
    由于$\theta$有两个参数, 分别是$\mu$和$\sigma$, 因此要分别对两个
    参数求导. 这里使用单高斯分布的模型, 如式\eqref{normal}所示. 
    \begin{figure}[htbp]
        \begin{align}
            \mathcal{L}(\theta \mid  \olx ) &=
            \sum^N_{i=1} 
            \text{log}[\mathcal{N}(x_i \mid \theta)]
            \label{normal}
        \end{align} 
    \end{figure}

    \subsubsection{对$\mu$求导, 
    $\frac{\partial \mathcal{L}(\theta \mid  \olx)}
    {\partial \mu}$}
    \begin{align*}
        \frac{
            \partial \mathcal{L}(\theta \mid  \olx)
        }{\partial \mu} 
        &= \frac{\partial \text{log}[\Likeli]}{\partial \mu}\\
        &= \frac{
            \partial \sum^N_{i=1} \text{log}[p(x_i \mid \theta)]
            }{
            \partial \mu
            }\\
        &= \sum^N_{i=1} 
        \frac{
            \partial \text{log}[p(x_i \mid \theta)]
        }{\partial \mu}\\
        &= \sum^N_{i=1} 
        \frac{
            \partial \text{ln} \frac{1}{\sigma \sqrt{2\pi}} 
            e^{-\frac{(x_i - \mu)^2}{2\sigma^2}}
            }{
            \partial \mu
            }\\
        &= \sum^N_{i=1}
        \left(
        \frac{
            \partial \text{ln} \frac{1}{\sigma \sqrt{2\pi}}
        }{
            \partial \mu
        }
        +
        \frac{
            \partial -\frac{(x_i - \mu)^2}{2\sigma^2}
        }{
            \partial \mu
        }
        \right)\\
        &= \sum^N_{i=1}
        \left(
        0 + 
        \frac{(x_i - \mu)}{\sigma^2}
        \right)\\
        &= \sum^N_{i=1} \frac{x_i}{\sigma^2} - 
        \frac{N\mu}{\sigma^2}
    \end{align*}
    令$\frac{
        \partial \mathcal{L}(\theta \mid  \olx)
    }{\partial \mu}=0$, 得

    \begin{align*}
        \sum^N_{i=1} \frac{x_i}{\sigma^2} - 
        \frac{N\mu}{\sigma^2} &= 0\\
        \sum^N_{i=1} x_i &= N\mu\\
        \mu &= \frac{1}{N}\sum^N_{i=1} x_i
    \end{align*}

    故$\mu = \frac{1}{N}\sum^N_{i=1} x_i$

    \subsubsection{对$\sigma$求导, 
    $\frac{\partial \mathcal{L}(\theta \mid \olx)}
    {\partial \sigma}$}
    \begin{align*}
        \frac{
            \partial \mathcal{L}(\theta \mid \olx)
        }{\partial \sigma}
        &= \frac{
            \partial \text{log}N(\olx \mid \theta)
        }{\partial \sigma}\\
        &= \frac{
            \partial \sum^N_{i=1} \text{log} N(x_i \mid \theta)
        }{\partial \sigma}\\
        &= \sum^N_{i=1}
        \frac{
            \partial  \text{ln} 
            \frac{1}{\sqrt{2\pi}\sigma} 
            e^{-\frac{
                (x_i - \mu_{MLE})^2
            }{2\sigma^2}}
        }{\partial \sigma}\\
        &= \sum^N_{i=1}
        \left(
        \frac{
            \partial \text{ln} \frac{1}{\sqrt{2\pi}\sigma}
        }{\partial \sigma}
        +
        \frac{
            \partial -\frac{
                (x_i - \mu_{MLE})^2
            }{2\sigma^2}
        }{\partial \sigma}
        \right)\\
        &= \sum^N_{i=1} 
        \left(
            -\frac{1}{\sigma} 
            + 
            \frac{
                (x_i - \mu_{MLE})^2
            }{\sigma^3}
        \right)\\
        &= -\frac{N}{\sigma} 
        + \sum^N_{i=1}
        \frac{
            (x_i - \mu_{MLE})^2
        }{\sigma^3}
    \end{align*}
    令上式结果等于零, 求解方程式如下: 
    \begin{align*}
        -\frac{N}{\sigma} 
        + \sum^N_{i=1}
        \frac{
            (x_i - \mu_{MLE})^2
        }{\sigma^3}
        &= 0\\
        -N \sigma^2
        +
        \sum^N_{i=1} (x_i - \mu_{MLE})^2
        &= 0\\
        \sigma^2 &= \frac{1}{N}
        \sum^N_{i=1}(x_i -\mu_{MLE})^2
    \end{align*}
    
    \subsubsection{对$\mu \text{和} \sigma$求导的结果}
    \begin{align*}
        \sigma_{MLE}
        &= \frac{1}{N} \sum^N_{i=1}(x_i -\mu_{MLE})^2\\
        \mu_{MLE}
        &= \frac{1}{N}\sum^N_{i=1} x_i
    \end{align*}
    
    \subsection{GMM(Gassian Mixture Model)}
    上述的ML算法是单个高斯模型的算法. 如果我们的数据实际上用单个高斯
    模型模拟不是那么的好, 就需要用多个高斯模型叠加后再拟合. 如果是多
    个高斯模型那么$\theta$参数就不再是只有一对$\{\mu, \sigma\}$, 
    而是有多个$\{\mu, \sigma\}$. 于是
    $\Theta = \{
        \mu_1, \mu_2, \dots, \mu_k, 
        \sigma_1, \sigma_2, \dots, \sigma_k 
    \}$. 
    这里就有一个问题需要解决, 每一个高斯模型
    $\theta_k = \{\mu_k, \sigma_k\}$,
    在这个数据中的比例, 于是就需要再引入一组参数, 也就是说$\Theta$
    需要再增加一维参数用来表述每一个$\theta_k$在这个模型中的比重. 
    于是
    $\Theta = \{
        \mu_1, \mu_2, \dots, \mu_k, 
        \sigma_1, \sigma_2, \dots, \sigma_k, 
        \alpha_1, \alpha_2, \dots, \alpha_{k-1}
    \}$. 这里用$\alpha_k$表示每一个
    $\theta_k = \{\mu_k, \sigma_k\}$
    在$\Theta$中的比重. 

    重头开始, 首先是有一堆数据
    $\overline{x} = \{x_1, x_2, \dots, x_n\}$
    这一堆数据一定是从某个分布($P(X \mid \Theta)$)中产生的, 因此
    有$X \stackrel{iid}{\sim} P(X \mid \Theta)$. 从而有式
    \eqref{multi1}, 
    \begin{figure}[htbp]
        \begin{equation}
            P(X \mid \Theta) = \prod^N_{i=1} P(x_i \mid \Theta)
            \label{multi1}
        \end{equation}
    \end{figure}
    两边同时取对数, 得式\eqref{multi2} 
    \begin{equation}
        \text{log} P(X \mid \Theta) = 
        \sum^N_{i=1} \text{log} P(x_i \mid \Theta)
        \label{multi2}
    \end{equation}

    由于我们这里想要使用的模型是高斯混合模型, 因此这组数据
    $\overline{x} = {x_1, x_2, \dots, x_n}$
    是由多个高斯模型叠加产生的. 所以: 
    \begin{equation*}
        P(x_i | \Theta) =
        \mathcal{N}(x_i | \theta_1) + 
        \mathcal{N}(x_i | \theta_2) + 
        \dots +
        \mathcal{N}(x_i | \theta_k),
        \quad
        \theta_k = \{\mu_k, \sigma_k\}
    \end{equation*}
    但是这里就是之前提到的问题, 每一个高斯对于产生这个数据的贡献是多
    少, 这就还需要一组参数来表述这个问题. 加上这一组参数的式子如下
    所示: 
    \begin{align*}
        P(x_i | \Theta) &=
        \alpha_1 \cdot \mathcal{N}(x_i | \theta_1) + 
        \alpha_2 \cdot \mathcal{N}(x_i | \theta_2) + 
        \dots +
        \alpha_k \cdot \mathcal{N}(x_i | \theta_k), 
        \quad
        \theta_k = \{\mu_k, \sigma_k\}\\
        &=
        \sum^k_{l=1} \alpha_l \cdot 
        \mathcal{N}(x_i | \theta_l), 
        \quad
        \theta_l = \{\mu_l, \sigma_l\}
    \end{align*}

    由于添加了一组参数, 多个高斯累加的概率一定大于1, 因此,我们规定
    $\sum^k_{l=1} \alpha_l = 1$. 这样多个高斯累加后的概率还是
    等于1.

    将$P(x_i | \Theta)$带回原式, 得到高斯混合模型的全部式
    子, 如下: 
    \begin{equation*}
        P(X \mid \Theta) = 
        \sum^N_{i=1} \text{log}
        \sum^k_{l=1} \alpha_l \cdot
        \mathcal{N}(x_i | \mu_l, \sigma_l), 
        \quad
        \sum^k_{l=1} \alpha_l = 1
    \end{equation*}
    因此, 参数$\Theta$就是一个三维数组, 如下: 
    \begin{equation*}
        \Theta = 
        \begin{bmatrix}
            \mu_1 & \sigma_1 & \alpha_1 \\
            \mu_2 & \sigma_2 & \alpha_2 \\
            \vdots& \vdots   & \vdots   \\
            \mu_k & \sigma_k & \alpha_k \\
        \end{bmatrix}
    \end{equation*}
    
    我们需要的仍然是最大化$P(X \mid \Theta)$, 因此
    \begin{equation*}
        \mathcal{L}(\Theta \mid X) = 
        \arg\max_\Theta \left[P(X \mid \Theta)\right]
    \end{equation*}
    即
    \begin{equation}
        \begin{gathered}
            \mathcal{L}(\Theta \mid X) = 
            \arg\max_\Theta \left[
                \sum^N_{i=1} \text{log}
                \sum^k_{l=1} \alpha_l \cdot
                \mathcal{N}(x_i | \mu_l, \sigma_l)
            \right]\\ 
            \sum^k_{l=1} \alpha_l = 1, \quad
            \Theta = 
            \begin{bmatrix}
                \mu_1 & \sigma_1 & \alpha_1 \\
                \mu_2 & \sigma_2 & \alpha_2 \\
                \vdots& \vdots   & \vdots   \\
                \mu_k & \sigma_k & \alpha_k \\
            \end{bmatrix}
            \label{GMM}
        \end{gathered}
    \end{equation}

    要对付这个公式的解, 显然不能一个一个分别对$\mu_k, \sigma_k$
    求导. 这个时候就需要使用EM算法来求解了, EM算法的全称是
    Expectation Maximization. 

    \section{EM(Expectation Maximization)}
    
    如式\eqref{GMM}所示, 要处理这个公式的解, 我们需要使用迭代的方
    法来计算. 所以我们一定是从一个初始的$\Theta^{(1)}$开始, 然后
    不停的迭代计算出
    $\Theta^{(2)}, \Theta^{(3)}, \\ \dots, \Theta^{(g)}$ 
    直到收敛. 那么我们就需要一个函数来给出
    $\Theta^{(g+1)} \text{与}\Theta^{(g)}$的关系. 即
    \begin{equation*}
        \Theta^{(g+1)} = f(\Theta^{(g)})
    \end{equation*}

    在E-M算法中, 这个函数如式\eqref{em}所示. 
    \begin{equation}
        \Theta^{(g+1)} = 
        \arg\max_\Theta \left\{
            \sum^N_{i=1}\left[
                \sum^k_{z_i=1} \text{log} 
                [P(x_i, z_i \mid \Theta)] \cdot 
                P(z_i \mid x_i, \Theta^{(g)})  
            \right]
        \right\}
        \label{em}
    \end{equation}

    Z是一个隐变量(latent variable), 这个隐变量可以使得计算变得简化
    许多. 
    \subsection{证明}
    我们想要做的事情是ML, 但是受限于参数非常多, 多到我们单凭求偏导等
    于零是基本不可能的. 因此, 我们需要做一些尝试, 让我们的计算更加简单. 
    latent variable就是我们使用的一个小技巧. 
    
    首先, 根据$X \stackrel{iid}{\sim} P(X \mid \Theta)$, 我们
    可以得到式\eqref{iid}. 
    \begin{figure}[htbp]
        \begin{equation}
            P(X \mid \Theta) = 
            \prod^N_{i=1} P(x_i \mid \Theta)
            \label{iid}
        \end{equation}
    \end{figure}
    根据条件概率公式, 我们的似然$P(x_i \mid \Theta)$可以写成式
    \eqref{jiexilikelihood}的形式. 
    \begin{figure}[htbp]
        \begin{equation}
            P(x_i \mid \Theta) = 
            \frac{
                P(x_i, z_i \mid \Theta)
            }{
                P(z_i \mid x_i, \Theta)
            }
        \label{jiexilikelihood}
        \end{equation}
    \end{figure}

    这样我们就引入了一个latent variable, $z_i$. 接下来两边同
    时取对数, 得到式\eqref{logjiexi}. 
    \begin{figure}[htbp]
        \centering
        \begin{equation}
            \text{log} P(x_i \mid \Theta) = 
            \text{log} P(x_i, z_i \mid \Theta) -
            \text{log} P(z_i \mid x_i, \Theta)
            \label{logjiexi}
        \end{equation}
    \end{figure}
    
    接下来, 我们需要一个分布, 这个分布是关于Z的分布, 而且X与Z是成对
    出现的, 因此有
    $\sum^k_{z_i=1} Q(z_i) = 1$. 
    
    现在对式\eqref{logjiexi}两边同时求期望, 得到式
    \eqref{expectation}. 式\eqref{expectation}的左边是对$z_i$
    求和的, 因此$\text{log}P(x_i \mid \Theta)$可以直接提到求和
    符号的外边, 而$\sum^k_{z_i=1} Q(z_i) = 1$. 因此, 式
    \eqref{expectation}左边就等于它本身, 为
    $\text{log} P(x_i \mid \Theta)$. 
    \begin{figure}[htb!]
        \begin{equation}
            \sum^k_{z_i=1} Q(z_i) \cdot
            \text{log} P(x_i \mid \Theta) = 
            \sum^k_{z_i=1} Q(z_i) \cdot
            \text{log} P(x_i, z_i \mid \Theta) - 
            \sum^k_{z_i=1} Q(z_i) \cdot
            \text{log} P(z_i \mid x_i, \Theta)
            \label{expectation}
        \end{equation}
    \end{figure}
    
    式\eqref{expectation}右边比较复杂. 目前是没办法再进一步解析
    了. 我们可以给$Q(z_i)$一个具体的分布. 这里我们让
    $Q(z_i) = P(z_i | x_i, \Theta^{(g)})$. 于是右边就可以写成:
    \[
        \sum^N_{i=1}P(z_i | x_i, \Theta^{(g)})
        \log P(x_i, z_i \mid \Theta) -
        \sum^N_{i=1}P(z_i | x_i, \Theta^{(g)})
        \log P(z_i | x_i, \Theta)
    \]

    右边的第二项根据Jesens 不等式, 可以得到是一定大于零的. 因此, 
    我们只要最大化右边的第一项就可以使得这个时候的$\Theta$是最大
    的. 
    \begin{align}
        \Theta^{(g+1)} &=
        \arg\max_\Theta \left\{
            P(X \mid \Theta)
        \right\}\\
        &= \arg\max_\Theta \left\{
            \sum^N_{i=1} \left[
                \sum^k_{z_i=1}
                P(z_i | x_i, \Theta^{(g)})
                \log P(x_i, z_i \mid \Theta)
            \right]
        \right\}
        \label{dairu0}
    \end{align}

    \subsection{填充GMM}
    既然已经有了这个算法, 我们只需要把相应的部分用自己选择的模型填充就
    可以了. 这里我们填充\textbf{GMM}. 首先来看
    $P(x_i, z_i \mid \Theta)$, 如式\eqref{dairu1}所示. 
    \begin{align}
        P(x_i, z_i \mid \Theta) &=
        \underbrace{P(x_i \mid z_i, \Theta)}_{
            \mathcal{N}(\mu_{z_i}, \sigma_{z_i}) 
        }\cdot
        \underbrace{P(z_i \mid \Theta)}_{\alpha_{z_i}}\\
        &= 
        \mathcal{N}(\mu_{z_i}, \sigma_{z_i}) \cdot
        \alpha_{z_i}
        \label{dairu1}
    \end{align}
    
    再来看$P(z_i \mid x_i, \Theta^{(g)})$. 这一项是上一次迭代
    的结果计算的. 通过条件概率公式, 可以得到式\eqref{dairu2}
    \begin{align}
        P(z_i \mid x_i, \Theta^{(g)}) &=
        \frac{P(x_i z_i \mid \Theta^{(g)})}
        {P(x_i \mid \Theta^{(g)})}\\
        &= 
        \frac{
            \mathcal{N}(\mu_{z_i}, \sigma_{z_i}) \cdot
            \alpha_{z_i}
        }{
            \sum^k_{z_i=1} 
            \mathcal{N}(\mu_{z_i}, \sigma_{z_i}) \cdot
            \alpha_{z_i}
        }
        \label{dairu2}
    \end{align}

    先将式\eqref{dairu1}带入到式\eqref{dairu0}, 得到
    式\eqref{dairuhou}. 
    \begin{align}
        \Theta^{(g+1)} &= 
        \arg\max_\Theta \left\{
            \sum^N_{i=1} \left[
                \sum^k_{z_i=1} P(z_i \mid x_i, \Theta^{(g)})
                \cdot
                \left(
                    \log \mathcal{N}(\mu_{z_i}, \sigma_{z_i})
                    +
                    \log \alpha_{z_i}
                \right)
            \right]
        \right\}
        % \\
        % &=
        % \arg\max_\Theta \left\{
        %     \sum^N_{i=1} \left[
        %         \sum^k_{z_i=1} 
        %         \left(
        %             p(z_i \mid x_i, \theta^{(g)}) \cdot
        %             \log \mathcal{N}(\mu_{z_i}, \sigma_{z_i})
        %             +
        %             p(z_i \mid x_i, \theta^{(g)}) \cdot
        %             \log \alpha_{z_i}
        %         \right)
        %     \right]
        % \right\}
        \label{dairuhou}
    \end{align}

    \subsection{分别对$\mu, \sigma \text{和} \alpha$求最大化}
    由于$\alpha \text{和} \mathcal{N}(\mu, \sigma) $是相加的关系,
    因此可以分开来分别求最大化. 

    \subsubsection{先对$\alpha$求导:}
    \begin{equation*}
        \Theta^{(g+1)} = 
        \arg\max_\Theta\left\{
            \sum^N_{i=1} \sum^k_{l = 1}
            P(l \mid x_i, \Theta^{(g)}) \cdot
            \ln \alpha_l
        \right\}, \quad 
        \sum^k_{l=1}\alpha_l = 1
    \end{equation*}
    
    这是一个限制条件下求最值的问题, 因此可以使用Lagrange Multiplier
    求解.

    具体过程如下:
    \begin{align*}
        L &= 
        \sum^N_{i=1} \sum^k_{l = 1}
        P(l \mid x_i, \Theta^{(g)}) \cdot
        \ln \alpha_l - 
        \lambda \left(\sum^k_{l=1}\alpha_l - 1\right)
    \end{align*}

    \begin{align}
        \frac{\partial L}{\partial \alpha_1} &= 
        \frac{1}{\alpha_1} \sum^N_{i=1}
        P(1 \mid x_i, \Theta^{(g)}) - \lambda\\
        \frac{\partial L}{\partial \alpha_2} &= 
        \frac{1}{\alpha_2} \sum^N_{i=1}
        P(2 \mid x_i, \Theta^{(g)}) - \lambda\\
        \nonumber
        \cdots\\
        \frac{\partial L}{\partial \alpha_k} &= 
        \frac{1}{\alpha_k} \sum^N_{i=1}
        P(k \mid x_i, \Theta^{(g)}) - \lambda\\
        \frac{\partial L}{\partial \lambda} &=
        1-(\alpha_1 + \alpha_2 + \dots + \alpha_k)
    \end{align}

    令上面的偏导数都等于0, 得:
    \begin{align}
        \sum^N_{i=1} P(1 \mid x_i, \Theta^{(g)}) - 
        \lambda \alpha_1 &= 0\\
        \sum^N_{i=1} P(2 \mid x_i, \Theta^{(g)}) - 
        \lambda \alpha_2 &= 0\\
        \nonumber
        \cdots\\
        \sum^N_{i=1} P(k \mid x_i, \Theta^{(g)}) - 
        \lambda \alpha_k &= 0\\
        \alpha_1 + \alpha_2 + \dots + \alpha_k &= 1
        \label{sumalpha}
    \end{align}
    
    将所有关于$\alpha$的导数等式相加, 再将式\eqref{sumalpha}带入, 可以
    得到:
    \begin{align}
        \lambda &= \sum^k_{l=1} \sum^N_{i=1}
        P(l \mid x_i, \Theta^{(g)})
        \label{plambda}
    \end{align}

    再将式\eqref{plambda}带入到任何一个关于$\alpha$求导的等式中, 
    可以计算出$\alpha$的通式如
    下: 
    \begin{equation}
        \alpha_l = \frac{
            \sum^N_{i=1} P(l \mid x_i, \Theta^{(g)})
        }{
            \sum^k_{l=1} \sum^N_{i=1} 
            P(l \mid x_i, \Theta^{(g)})
        }
    \end{equation}

    \subsubsection{对$\mu, \sigma$求导}
    对于$\mu, \sigma$的求导就和单高斯模型的计算过程基本一致. 只是
    整个过程中有一个
    $\sum^N_{i=1} P(l \mid x_i, \Theta^{(g)})$
    计算起来比较麻烦. 
    

\end{document}